Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning -- a setting where not all the data samples are labeled. An underlying issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled ones. We leverage the power of nearest-neighbor classifiers to non-linearly partition the feature space and learn a strong representation for the current task, as well as distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a strong state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations).

This paper presents miCSE, a mutual information-based Contrastive learning framework that significantly advances the state-of-the-art in few-shot sentence embedding. The proposed approach imposes alignment between the attention pattern of different views during contrastive learning. Learning sentence embeddings with miCSE entails enforcing the syntactic consistency across augmented views for every single sentence, making contrastive self-supervised learning more sample efficient. As a result, the proposed approach shows strong performance in the few-shot learning domain. While it achieves superior results compared to state-of-the-art methods on multiple benchmarks in few-shot learning, it is comparable in the full-shot scenario. The proposed approach is conceptually simple, easy to implement and optimize, yet empirically powerful. This study opens up avenues for efficient self-supervised learning methods that are more robust than current contrastive methods for sentence embedding.

持续学习（CL）旨在制定模仿人类能力顺序学习新任务的能力，同时能够保留从过去经验获得的知识。在本文中，我们介绍了内存约束在线连续学习（MC-OCL）的新问题，这对存储器开销对可能算法可以用于避免灾难性遗忘的记忆开销。最多，如果不是全部，之前的CL方法违反了这些约束，我们向MC-OCL提出了一种算法解决方案：批量蒸馏（BLD），基于正则化的CL方法，有效地平衡了稳定性和可塑性，以便学习数据流，同时保留通过蒸馏解决旧任务的能力。我们在三个公开的基准测试中进行了广泛的实验评估，经验证明我们的方法成功地解决了MC-OCL问题，并实现了需要更高内存开销的先前蒸馏方法的可比准确性。

In addition to its public health crisis, COVID-19 pandemic has led to the shutdown and closure of workplaces with an estimated total cost of more than $16 trillion. Given the long hours an average person spends in buildings and indoor environments, this research article proposes data-driven control strategies to design optimal indoor airflow to minimize the exposure of occupants to viral pathogens in built environments. A general control framework is put forward for designing an optimal velocity field and proximal policy optimization, a reinforcement learning algorithm is employed to solve the control problem in a data-driven fashion. The same framework is used for optimal placement of disinfectants to neutralize the viral pathogens as an alternative to the airflow design when the latter is practically infeasible or hard to implement. We show, via simulation experiments, that the control agent learns the optimal policy in both scenarios within a reasonable time. The proposed data-driven control framework in this study will have significant societal and economic benefits by setting the foundation for an improved methodology in designing case-specific infection control guidelines that can be realized by affordable ventilation devices and disinfectants.

在本文中，我们建议采用MDE范式来开发机器学习（ML）的软件系统，重点关注物联网（IoT）域。我们说明了如何将两种最先进的开源建模工具，即蒙蒂安娜和ML-Quadrat用于此目的，如案例研究所证明的那样。案例研究说明了使用ML使用MNIST参考数据集对手写数字的自动图像识别的ML，特别是深人造神经网络（ANN），并将机器学习组件集成到物联网系统中。随后，我们对两个框架进行了功能比较，设置了一个分析基础，以包括广泛的设计考虑因素，例如问题域，ML集成到较大系统中的方法以及支持的ML方法以及主题最近对ML社区的强烈兴趣，例如Automl和MLOP。因此，本文的重点是阐明ML域中MDE方法的潜力。这支持ML工程师开发（ML/软件）模型而不是实施代码，并通过启用ML功能作为IoT或IoT的组件的现成集成来实现设计的可重复性和模块化。网络物理系统。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

尽管在治疗和结果之间存在未衡量的混杂因素，但前门标准可用于识别和计算因果关系。但是，关键假设 - （i）存在充分介导治疗对结果影响的变量（或一组变量）的存在，（ii）同时并不遭受类似的混淆问题的困扰 - outcome对 - 通常被认为是难以置信的。本文探讨了这些假设的可检验性。我们表明，在涉及辅助变量的轻度条件下，可以通过广义平等约束也可以测试前门模型中编码的假设（以及简单的扩展）。我们基于此观察结果提出了两个合适性测试，并评估我们对真实和合成数据的提议的疗效。我们还将理论和经验比较与仪器可变方法处理未衡量的混杂。

在过去的十年中，人工智能（AI）为软件系统提供了巨大的新可能性和机会，还提供了新的要求和要求。特别是，机器学习（ML）已被证明在几乎每个垂直应用域中都有用。在未来的十年中，可以预期从经典计算到量子计算（QC）的前所未有的范式转移，也许是带有量子古典混合模型的。我们认为，当涉及量子和量子古典混合应用时，模型驱动的工程（MDE）范式可以是推动者和协助者。这不仅包括自动代码生成，还包括自动模型检查和验证，以及早期设计阶段中的模型分析以及在设计时间和运行时的模型对模型转换。在本文中，愿景集中在量子AI的MDE上，尤其是物联网（IoT）和智能网络物理系统（CPS）应用程序的量子ML。

在本文中，我们展示了ML-Quadrat，这是一种基于Eclipse建模框架（EMF）和智能网络物理学（MDSE）文献中的Eclipse建模框架（EMF）和最先进的开源研究原型，用于智能网络物理系统（CPS）和物联网（物联网）。其设想的用户主要是软件开发人员，他们可能在异构物联网平台和不同的人工智能（AI）技术中，专门对机器学习（ML）具有深入的知识和技能。 ML-Quadrat在GitHub上的Apache 2.0许可证的条款下发布。此外，我们展示了Driotdata的早期工具原型，该基于Web的低码平台，目标是公民数据科学家和公民/最终用户软件开发人员。 Driotdata通过向公司提供延长版本的公司，主要是小型和中型企业（中小企业），Driotdata利用该行业中的ML-Quadrat在行业中进行了延长版本。 Driotdata的当前初步版本有三个基于Web的模型编辑器：基于文本的，基于树/形式和基于图表。后者专为问题的域专家设计或使用案例域（即IOT垂直域名），其可能在其领域中没有知识和技能。最后，在YouTube上提供演示工具的短视频：https://youtu.be/vauz25w0a5k

模型用于软件工程（SE）和人工智能（AI）。 SE模型可以在不同抽象层次的架构中指定架构，并从早期概念化和设计，从软件开发生命周期的各个阶段解决不同的问题，以验证，实施，测试和演化。然而，AI模型可以提供智能能力，例如预测和决策支持。例如，在机器学习（ml）中，这是目前是AI的最受欢迎的子学科，数学模型可能会在观察到的数据中学习有用的模式，并且可以成为能够进行预测。这项工作的目标是通过将在所述社区的模型聚集在一起并提出一种需要ML的智能系统的模型驱动软件开发的整体方法来创建协同作用。我们说明了软件模型如何能够以无缝方式创建和处理ML模型。主要焦点位于事物互联网（物联网）的领域，其中ML和模型驱动的SE都发挥着关键作用。在需要采取有针对性架构的网络物理系统的系统视角下，SE和ML子系统的集成设计环境将最能支持所得系统实现的优化和整体效率。特别是，我们实现了基于INTOMML的CL-Quadrat的所提出的方法，并使用来自物联网域的案例研究以及经验用户评估来验证它。它归还所提出的方法不仅是可行的，而且还可能有助于与IOT连接的智能网络物理系统（CPS）的软件开发的性能飞跃，以及增强的使用者的用户体验建议的建模解决方案。